跳转至

MCP 中的大语言模型至关重要：衡量由大语言模型驱动的低效资源利用

文章背景与核心概要

本研究探讨了大语言模型（LLM）在模型上下文协议（MCP）框架内如何使用内嵌参考数据与外部搜索工具。通过对生产环境法律信息 MCP 服务器上 24 个模型（涵盖 Claude、Gemini 和 GPT 系列）进行的 54,000 次全面实验，作者揭示了一个现象：由于行为偏好而非能力差距，大语言模型经常绕过现成的指令内嵌数据，转而进行冗余的工具调用。这一发现凸显了单服务器提示词工程的局限性，并主张对 MCP 主机应用程序进行架构更新。

研究发现，当移除竞争性的搜索工具时，23 个模型中有 23 个能够可靠地读取内嵌数据（命中率至少达到 98%）；然而，只要搜索工具存在，就有 9 个模型的命中率降至 15% 以下。作者指出，针对每个服务器定制提示词只是权宜之计而非根本解决方法，并建议 MCP 主机应用程序应提供显式机制，在客户端 LLM 的决策过程中将服务器指令置于工具选择之前。

摘要 (Abstract)

模型上下文协议（MCP）标准化了服务器向大语言模型（LLM）公开数据和工具的方式。一种常见的服务器设计是将常用的参考数据（例如标识符查找表）直接嵌入到服务器指令中，即服务器传递给主机应用程序的系统提示词（system-prompt）文本。

The Model Context Protocol (MCP) standardizes how servers expose data and tools to Large Language Models (LLMs). A common server design embeds frequently used reference data, such as identifier lookup tables, directly in the server instructions: the system-prompt text a server hands to the host application.

当查询涉及内嵌表中的条目时，模型可以立即对其进行操作，而不必通过搜索工具重新发现相同的信息。我们测试了客户端 LLM 是否真正使用了此类指令内嵌数据，并在一个生产环境的法律信息 MCP 服务器上，对 24 个 LLM（9个 Claude、6个 Gemini、9个 GPT）进行了 54,000 次试验的研究。

When a query concerns an entry of the embedded table, the model can act on it immediately instead of re-discovering the same information through a search tool. We test whether client LLMs actually consume such instruction-embedded data, reporting a 54,000-trial study across 24 LLMs (9 Claude, 6 Gemini, 9 GPT) on a production legal-information MCP server.

该研究的主要结论包括： * 行为偏好与模型能力： 移除竞争搜索工具的诊断条件表明，失败是由行为偏好而非能力缺失驱动的。 * 工具存在的影响： 在无法使用搜索的情况下，24 个模型中有 23 个能可靠地读取内嵌数据（命中率至少为 98%）。然而，仅凭搜索工具的存在，就有 9 个模型的命中率跌至 15% 以下。 * 指令干预： 对三种指令级干预措施进行的 \(2^3\) 析因分析显示出强烈的交互效应：将三者结合可为 24 个模型中的 20 个恢复至少 86% 的性能，尽管单独的干预可能会对特定模型系列产生反效果。

Key takeaways from the study include: * Behavioral Preference vs. Capability: A diagnostic condition removing the competing search tool shows that failures are driven by behavioral preference rather than missing capability. * Impact of Tool Presence: With search unavailable, 23 of 24 models read the embedded data reliably (hit ratio at least 98%). However, with a search tool merely present, 9 models drop below a 15% hit ratio. * Instructional Interventions: A \(2^3\) factorial analysis of three instruction-level interventions reveals strong interaction effects: combining all three restores at least 86% performance for 20 of 24 models, though individual interventions can backfire for specific model families.

结论： 针对每个服务器的提示词工程只是一种权宜之计，而非根本修复。作者认为，MCP 主机应用程序应当提供一种显式机制，在客户端 LLM 的决策过程中将服务器指令置于工具选择之前。

Conclusion: Per-server prompt engineering is a workaround rather than a fix. The authors argue that MCP host applications should provide an explicit mechanism that places server instructions ahead of tool selection in the client LLM's deliberation process.

元数据与出版详情 (Metadata & Publication Details)

  • arXiv 标识符： arXiv:2608.08467 [cs.AI]
  • 作者： Minhan Cho, Soyoung Park, Kihyeon Jeong, Byeongkyu Jeon, Daejin Choi, Jinyoung Han
  • 主要学科： 人工智能 (cs.AI)
  • 次要学科： 计算与语言 (cs.CL)、信息检索 (cs.IR)
  • ACM 分类： I.2.7; I.2.11
  • 会议/举办地： 已被澳大利亚墨尔本 SIGIR 2026 的 AgentSearch 研讨会接收（非正式档案，4 页，1 个表格）
  • 提交时间： 2026年8月9日
  • 资源与代码： GitHub 仓库
  • arXiv Identifier: arXiv:2608.08467 [cs.AI]
  • Authors: Minhan Cho, Soyoung Park, Kihyeon Jeong, Byeongkyu Jeon, Daejin Choi, Jinyoung Han
  • Primary Subject: Artificial Intelligence (cs.AI)
  • Secondary Subjects: Computation and Language (cs.CL), Information Retrieval (cs.IR)
  • ACM Classes: I.2.7; I.2.11
  • Conference/Venue: Accepted at the AgentSearch Workshop at SIGIR 2026, Melbourne, Australia (non-archival, 4 pages, 1 table)
  • Submitted: August 9, 2026
  • Resources & Code: GitHub Repository